농업 AI 신뢰, “믿을 수 있는 데이터에서 시작”…농업기계학회 추계학술대회서 검증·책임 해법 모색

복합환경제어를 10년 넘게 써 온 전북 시설토마토 농가 25곳 중 ‘환경 안정성이 가장 크게 좋아졌다’고 답한 농가는 한 곳도 없었다. 도입할 때 유지관리와 기술지원을 따진 농가도 없었다. 그런데 실제로 쓰면서 나온 불만 6건 중 4건이 환경 안정성 영역이었다. 확산에 필요한 기술(복수응답)로는 ‘쓰기 쉬운 화면’과 ‘원격 모니터링·진단’이 각각 40%(10곳)였고, ‘AI 의사결정 지원’은 24%(6곳)에 그쳤다.

이 설문은 로즈밸리 정병규 대표가 이달 16일 2016년 전북농업마이스터대학 토마토과정 수료자 25명을 대상으로 실시한 것으로, 한국농업기계학회가 지난 21일 연 2026년 추계학술대회 특별세션 ‘신뢰할 수 있는 농업AI, 원칙에서 현장까지’에서 발표됐다. 이날 부산 벡스코에서 열린 세션에서는 정 대표와 국제인공지능윤리협회 전창배 이사장, (주)지농 박흔동 대표, 한국노동연구원 양승엽 연구위원이 주제발표를 했고, 이어진 종합토론에는 농촌진흥청 김민영 기술융합전략과장을 좌장으로 주제발표자들과 국립목포대 문광진 교수, 42MARU 정휘웅 소장, 농촌진흥청 정환석 전산사무관이 참여했다. 참석자들은 농업 AI의 위험 요인과 검증 방법, 사고 책임, 필요한 규범을 놓고 논의했다.

센서·데이터 흔들리면 판단도 못 믿어…현장 위험은 장비와 데이터

설문을 발표한 정 대표는 전북 익산에서 1㏊ 규모 토마토 온실을 운영한다. 스마트팜 도입 후 하루 관리시간을 12시간에서 6시간으로 줄였고, 3.3㎡당 생산량을 80㎏에서 최고 142㎏까지 끌어올렸다. 정 대표는 이 성과를 “AI 혼자 만든 효과가 아니라 장비와 데이터, 매일 현장을 보는 사람의 관리가 함께 만든 결과”라고 설명했다.

오작동 사례도 구체적으로 소개했다. 센서 오측정으로 환기창 제어가 틀어져 곰팡이가 번졌고, 양액 전기전도도(EC) 설정값이 잘못 들어가 뿌리가 상하기도 했다. 한 농가는 소나기가 그친 뒤에도 창이 닫혀 있어 온실 안 온도가 60℃를 넘었고, 결국 그 작기를 접었다. 다른 농가는 외산 제어기 부품을 제때 받지 못해 밤새 수동으로 제어해야 했다. 정 대표는 “센서와 데이터가 흔들리면 그 위에 올린 판단은 아무리 똑똑해도 믿을 수 없다”며 “신뢰할 수 있는 농업 AI는 믿을 수 있는 데이터에서 시작한다”고 말했다.

종합토론에서 정휘웅 소장은 정확도를 ‘측정’과 ‘수행’으로 나눠 봐야 한다고 했다. 수행이 잘못됐다면 AI의 잘못인지 기계의 잘못인지도 가려야 한다는 것이다. 정 소장은 “데이터는 한 번 구축하는 게 아니라 지속적으로 관리해야 한다”고 덧붙였다. 농촌진흥청에서 AI 영농비서 ‘이삭이’를 맡고 있는 정 사무관은 “AI가 학습하기에 적합한 데이터는 많지 않다”며 데이터 표준화와 정제를 우선 과제로 꼽았다.

결정 지원형 AI…최종 판단은 사람에게

정 대표는 개선 방향의 첫째로 ‘AI는 사람을 대신하기보다 판단을 돕는 결정 지원형으로 가야 한다’를 제시했다. 나머지는 센서 규격 표준화, 국산화와 신속한 A/S, 농가 교육, 기후적응형 제어다.

박 대표는 판단의 근거를 설명해 주는 AI가 더 좋은 서비스라고 강조했다. 박 대표는 “완전 무인 자동화로 가면 좋겠지만 잘못하면 농가가 바보가 된다”며 “AI의 궁극적 목표는 정 대표 같은 수준의 농가를 계속 만들어 가는 것”이라고 말했다. 정 사무관도 “아직은 AI 답변을 100% 믿기보다 참조해서 확인하며 쓰는 것이 가장 안전하다”고 말했다.

“이 숫자를 누가 믿어줄 것인가”…독립 검증·인증 체계 요구

박 대표는 농가 상담 녹음으로 음성인식 모델을 학습시켰다. 자체 평가에서는 네이버 클로바보다 정확도가 높게 나왔다. 그러나 박 대표는 “문제는 이 숫자를 누가 믿어줄 것인가”라며 “지금은 우리가 문제를 만들고 평가까지 다 하고 있다”고 말했다. 그는 대안으로 독립 벤치마크를 제시했다. 음성인식, 근거 기반 답변, 병해충 진단, 예측·추천 영역별로 학회와 농진청이 시험을 출제하고, 그 결과를 등급제와 인증으로 연결하자는 것이다.

정 소장은 다른 의견을 냈다. 음성인식은 2~3년이면 최고 수준을 따라잡을 것이므로, 평가 범위를 좁혀 예측 오류로 생긴 피해를 판정하는 기준에 집중하자는 것이다. 양 연구위원은 항공산업을 예로 들며 “규제를 통해 안정감을 주는 것이 오히려 혁신과 확산에 도움이 된다”고 말했다. 그러면서 신뢰성 인증을 받은 기업에 공공조달 인센티브를 주자고 제안했다. 정 대표는 개발 초기부터 농업인이 참여하는 개방형 현장 실증을 강조했다.

사고 나면 누구 책임?…판단 이력 남기고 입증책임 덜어야

전 이사장은 주제발표에서 농업 현장에서 이미 일어난 사고를 소개했다. 2023년 11월 경남 고성의 파프리카 선별장에서 로봇이 시운전 점검 중이던 업체 직원을 상자로 오인해 숨지게 한 사고, 드론 방제 중 농민의 손가락이 잘린 사고 등이다. 전 이사장은 “AI 안전은 예방의 문제지 해결의 문제가 아니다”라고 말했다. 정 사무관은 선별장 사고가 프로그램의 예외 처리 문제에 가깝다고 보고, 연구개발 단계부터 안전 검증을 넣어야 한다고 했다.

박 대표는 AI의 추천과 농업인의 승인, 실행 결과를 시점별로 기록하는 이력 추적 체계를 제안했다. 사고가 나면 어디서 오류가 났는지 거슬러 올라갈 수 있게 하자는 것이다. 양 연구위원은 책임을 한 주체에 몰지 말고 과실비율처럼 나누는 절차를 마련하자고 했다. 양 연구위원은 “농업인이 AI의 문제를 입증하는 게 아니라 AI를 만든 기업이 입증하도록 입증책임의 전환이나 완화가 중요한 쟁점이 될 것”이라고 말했다.

AI 기본법 다음은 농업 AI 특별법?…“중단기적으로는 스마트농업법 보완”

전 이사장은 올해 1월에 시행된 AI 기본법이 선언적이고 포괄적인 법이라며 ‘농업 분야 AI 특별법’이 필요하다고 제안했다. 자율주행 농기계가 도로에서 사고를 냈을 때 적용할 법이 “지금은 공백 상태”라는 점도 짚었다. 문 교수는 “농업에는 고영향 AI로 볼 만한 것이 많지 않아 특별법은 장기 과제”라며 “중단기적으로는 스마트농업법을 보완하는 것부터 시작해야 한다”고 말했다.

양 연구위원은 농진청 발주 연구로 만들고 있는 ‘농업 AI 윤리 가이드라인’ 초안을 공개했다. 사전 설문에서 전문가 19명 중 16명이 가이드라인이 필요하다고 답했다. 초안은 ▲인간 존중 ▲공정 및 포용 ▲안전성 ▲투명성 ▲프라이버시 ▲책임성 등 6대 원칙을 제시했다. 보호 대상을 토양·수질 등 생태·환경 전반으로 넓힐지, 농업인 데이터에 대한 대가를 어떻게 다룰지는 아직 논의 중이다.

고령·영세농 디지털 격차 줄일 교육·공론장 필요

양 연구위원은 고령·영세농 등 디지털 취약계층의 AI 교육과 접근을 지원해야 한다고 강조했다. 문 교수는 국가인공지능전략위원회에 농업 관련 기관이나 전문가가 없다는 점을 들며 농업 AI 공론장이 필요하다고 말했다. 전 이사장은 교육과 기술 개발, 법·제도 정비가 함께 가야 한다고 했다. 정 사무관은 농업 AI 확산을 위한 협의체 구성을 검토하겠다고 밝혔다.

좌장을 맡은 김 과장은 “농업 AI의 신뢰성과 안전성 확보는 기술 혁신을 제약하는 것이 아니라 현장 확산을 위한 기반”이라고 토론을 마무리했다.